MixpanelのデータをFivetranを使ってSnowflakeにロードしてみた

さがらです。

Mixpanelのデータを、Fivetranを使ってSnowflakeにロードしてみたので、その内容をまとめてみます。

FivetranのMixpanelに関する公式Doc

MixpanelでのAPI Secretの確認

まず、FivetranはMixpanelのAPIを叩いてデータを取得するため、MixpanelのAPI Secretを知る必要があります。

Mixpanelログイン後、右上の歯車マークを押し、Personal Settingsを押します。

左からProjectsを選択し、Fivetranに同期したいProjectのAPI Secretの値を確認します。この値をFivetranでの設定時に使用します。

Fivetranでのセットアップ

※事前にDestinationの設定は済んでいる前提で進めます。

まず、左のConnectorsメニューを押してから、右上のAdd Connectorを押します。

データソースの一覧から、Mixpanelを選択します。

Destination schemaにFivetranにより作成されるスキーマ名を入力し、Api Secretに先程Mixpanelの画面で確認したAPI Secretを入力します。Data RegionはMixpanelのデータの保管先に応じて設定してください、デフォルトはUSのようです。

入力した後、Save ＆ Testを押します。

接続のテストが行われ、問題なければContinueを押します。

コネクタの画面に移動するので、Start Initial Syncを押します。

私は12000ユーザーそれぞれ数回購買イベントを起こしているサンプルデータを同期しましたが、Initial Syncの完了までは40時間ほどかかりました。

下図がロード後のテーブルの1つPEOPLEテーブルですが、下図のように格納されていました。（データの中身自体はただのサンプルデータです）

最後に

Fivetranを使ってMixpanelのデータをSnowflakeにロードしてみました。

非常に簡単にロード出来るので、これでMixpanelで取得したオンラインのイベントデータと他のデータを組み合わせた分析・活用に手軽に取り組めますね！